Dilahirkan di Yeshbum, Shabwa, Al-Rahman belajar Al-Quran daripada sekolah ayahandanya di Yeshbum. Beliau menghadiri sekolah rendah di Sekolah Al-Abdaleyah Al-Muhseniah, Lahej, serta sekolah menengah di sebuah sekolah Halwa yang terletak di Kaherah, Mesir. Selepas itu, beliau menuntut selama dua tahun di Fakulti Sains, Universiti Kaherah dan dianugerahkan dengan Sarjana Muda Sains dalam Sains Tentera pada Februari 1965. Al-Rahman merupakan penuntut asing pertama yang lulus dalam kursus itu.

Pada tahun 1964, Al-Rahman menerima "Anugerah Kebudayaan" kerana tesisnya mengenai Dasar Keberkecualian Positif dan Ketidakberikatan yang diterbitkan dalam Majalah Angkatan Tentera U.A.R pada tahun yang sama. Beliau kemudian menuntut kursus kejuruteraan tentera di Sekolah Kejuruteraan Tentera Al-Taif. Dari 1973 sehingga 1975, Al-Rahman membelajari bahasa Inggeris, pengaturcaraan komputer dan pentadbiran perniagaan di London.